Gerhardt komt uit de jeugdopleiding van FC Köln. Hij debuteerde op 20 juli 2013 voor FC Köln in de Bundesliga tegen Dynamo Dresden. Op 1 september 2013 scoorde hij zijn eerste profdoelpunt voor FC Köln tegen Erzgebirge Aue. Onder leiding van de Oostenrijkse trainer-coach Peter Stöger won hij in het seizoen 2013/14 met 1. FC Köln de titel in de 2. Bundesliga, waardoor de club terugkeerde in de hoogste afdeling van het Duitse voetbal, de Bundesliga.